Grandes modelos de linguagem (LLMs) às vezes perdem a confiança ao responder perguntas e abandonam respostas corretas, de acordo com um novo estudo realizado por pesquisadores do Google DeepMind e da University College London.

LLMs são sistemas de IA poderosos que compreendem e geram linguagem humana . São utilizados em diversos setores, como finanças, saúde e tecnologia da informação , para tarefas que exigem raciocínio e tomada de decisão. Portanto, sua precisão e confiabilidade são primordiais, o que significa que devem estar sempre confiantes em suas respostas. No entanto, podem vacilar.

Para que os LLMs sejam implantados com segurança, suas respostas são acompanhadas por pontuações de confiança. Mas não está claro como eles as utilizam para orientar seu comportamento.

Esta pesquisa, publicada no servidor de pré-impressão arXiv , mostra que eles podem estar confiantes demais em suas respostas iniciais, mas perdem a confiança e mudam de ideia quando recebem um contra-argumento incorreto.

Para investigar esse aparente paradoxo, os pesquisadores testaram como os LLMs atualizam sua confiança e decidem se devem mudar sua resposta quando recebem conselhos externos.

Primeiro, um "LLM respondente" recebeu uma pergunta de escolha binária. Após a resposta, recebeu o conselho de um segundo LLM, acompanhado de uma classificação de precisão. Esse "LLM aconselhador" também concordava, se opunha ou era neutro em relação à primeira resposta do LLM respondente. Em seguida, o LLM respondente foi solicitado a fazer uma escolha final. Os pesquisadores também variaram a possibilidade de o LLM ver sua primeira resposta ao tomar sua decisão final.

O estudo constatou que os LLMs são mais propensos a manter a resposta inicial e não mudar quando ela está visível do que quando está oculta. Em outras palavras, eles se tornam mais confiantes. O estudo também mostrou que, quando os modelos recebem conselhos opostos, eles frequentemente perdem a confiança e mudam de decisão. Eles fazem isso com muito mais facilidade do que quando o conselho é favorável. Esses padrões foram observados em vários LLMs diferentes, como Gemma 3, GPT4o e o1-preview.

Em segundo lugar, mostramos que, embora os LLMs integrem novas informações em suas crenças, eles o fazem de uma forma que não é ideal: eles mostram um perfil de atualizações de confiança que se desvia de um observador ideal e superestimam acentuadamente os conselhos opostos, resultando em perda acentuada de confiança em sua resposta inicial.

Tudo isso importa porque muitos setores dependem cada vez mais de LLMs. No entanto, esta pesquisa mostra que eles não são máquinas puramente lógicas. Eles têm seu próprio conjunto de vieses e podem ser influenciados. Portanto, em longas conversas entre um humano e um agente de IA, as informações mais recentes podem ter um impacto desproporcional em sua resposta.

Entender isso e outras nuances da tomada de decisões do LLM pode ajudar no design de sistemas de IA melhores, mais seguros e confiáveis.